这篇文章才是对敏捷BI的客观理解
文章来自天善智能大数据社区 www.hellobi.com 博客专栏 Smartbi。欢迎更多在大数据、数据分析、数据挖掘和商业智能 BI 领域的一线技术爱好者、咨询顾问、CTO等加入 www.hellobi.com 社区,开启您的个人博客专栏,共同推动大数据行业和技术的进步。
https://v.qq.com/txp/iframe/player.html?vid=d0315is29v0&width=500&height=375&auto=0
一. 数据时代催生敏捷需求
最早提出“大数据”时代到来的是全球知名管理咨询公司-麦肯锡,麦肯锡季刊曾发表:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素“。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。
从以上数据对比(暂且忽略数据完整性),我们可以看到“大数据”已经超过二孩、人工智能,与企业管理、A股、新能源车等关注点同处于50万-100万的程度,更是高于商业智能(Business Intelligence)十倍有余。
无论任何新的概念或者技术,如果它没有应用价值,就肯定不会被推广,但如果它具有个人都能理解的“应用价值”,就会在今天被移动互联网快速传播、无限放大。无疑“大数据”就是这样发展起来的,同时人们也从其应用价值中接受了“数据化管理、数据化运营、数据化决策“等管理理念。这也是大数据能够成为驱动经济、社会进步与发展的原因。
与此同时,企业的经营面临越来越激烈的竞争,政府的转型也面临数据服务的压力,如果部署数据分析平台还像10年前经历漫长实施过程的话,那么数据化运营将成为空谈。于是满足市场期望的“敏捷商业智能“出现了,无论用户还是厂商,都希望能够在数据平台上构建分析系统的过程变得更加迅速、简单和高效!
二. 敏捷商业智能的误区
我们产品的名称由2部分组成,SMART+BI,前者就是聪明的、敏捷的,后者就是商业智能。这也说明自产品诞生起,我们一直以“简洁实用”的BI作为努力的目标!通过看到市场上琳琅满目的宣传广告,以及 Smartbi 自身的服务和研发,我们终于“不惑”!
首先,敏捷BI并不是指某个前端工具软件,而是贯穿在数据分析平台构建和运行过程中的快速实现能力。
摘自:www.wikipedia.com
Agile Business Intelligence (BI) refers to the use of the agile software development methodology for BI projects[1] to reduce the time-to-value of traditional BI and helps in quickly adapting to changing business needs.[2] Agile BI enables the BI team and managers to make better business decisions。
简单来说,评价是否是敏捷BI应该从以下角度:
■ IT可以快速提供可选的分析数据;
■ 非常简单的给现有报表增加字段;
■ 能够快速完成新仪表盘的制作;
其次,具有敏捷BI属性的前端分析软件,不是”传统BI”的替代品!
二十几年前与BI、数据仓库同时诞生的OLAP(Online Analysis Process),正是由于为业务人员提供了灵活的分析、计算、钻取能力而风靡全球。但过去的十年,OLAP的产品却不再风光,出现这个问题的不是其需求发生了改变,而是其技术不够简单,或者说违背敏捷BI的潮流。但是,随着Apache Kylin项目的成功推广,OLAP即将在大数据时代重新焕发青春。
再举个例子,Business Objects曾经因“语义层”和“内存Cube”的专利技术,在十年前得到了广泛的认可,也最终以78亿美金出售给了SAP。当时BO的用户,就是能够在敏捷BI的方式下进行自助分析。无论是当时,还是现在,业务人员的需求没有变化,他们一直需要能够快速、便捷的分析数据,以及做出一些漂亮的图形去做汇报!
因此从软件本身,从来没有两个派别,只有不断的技术创新和发展。
最后,敏捷BI无法替你解决需求分析、数据准备、平台管理等难题!
无论Smartbi还是别的前端分析软件,都只是将数据平台(数据库、数据仓库、大数据平台)的数据统计展现出来,都是将大数据变成可读懂的小数据的过程。
■ 如果使用者不能确定数据能否覆盖潜在需要,同样不可能得到有用的分析结论;
■ 如果数据平台的数据是脏数据,统计展现的结果一定也是不准确的(”Garbage in,gargage out”这句话依然有效!);
■ 如果快速制作的报表,不能在安全的前提下发布给报表消费者(一般是领导),对于大型的用户,同样都是重大风险;
■ 如果数据源变更了内容,但不能确定受到影响的有哪些应用,谁敢轻易变更;
总之,敏捷BI是客观存在的市场需求,Smartbi和其它软件都在构成敏捷BI的前端分析工具环节不断实践和思考。比如,我们认为未来改进的方向应包括以下3个角度:
从逻辑上说,这三条是构成敏捷BI的“必要条件”,而不是“充分条件”。元数据与高性能都是缘于技术架构的,在各个软件之间差异很大,但在简易操作方面,各个厂商都有自己的设计,也才能满足不同类的用户操作需求。
三. 敏捷商业智能的本质
前文从大数据等时代背景,分析了敏捷BI需求存在的合理性,也通过解读敏捷BI的误区提出了敏捷BI软件的“金三角”,但敏捷BI有没有一个最能让我们记住的核心价值呢?答案是肯定的,那就是“快而有效”!
从汉语词典中可以查到,敏捷一词的基本释义就是“反应迅速快捷”,词性为“褒义”!那么在数据分析(BI)行业,敏捷具体体现在以下四个方面:
1. 快而有效的交付
交付是一个动词,那么从其主语(操作者)和宾语(需求方)来剖析,有这么四种情况:
其中情况2、3都是小概率事件,我们不予探讨。而从情况1、4来做系统性的分析,我们可以看到共同的宾语(交付对象)都是业务需求方。那么在任何规模以上企业、政府中,业务需求方对BI一般会有哪些需求呢?
需求一:获取数据
其实这个需求最普遍,也最不用解释,任何软件(包括BI)都要提供Excel导出功能。这背后的原因可能是业务需求方自己有一些数据,他需要从平台补充做分析;也可能是用户习惯于使用Excel做报表、做计算。
需求二:制作报表
这个是用户的核心需求,大多数的业务需求方使用BI平台软件,都觉得制作一份简单的统计报表比较方便、快捷,往往通过拖拽就可以完成了。尤其在管理需求瞬息万变的情况下,企业有大量的制作报表需求,而且往往要得快、要得急。
需求三:探索分析
制作报表是目标非常明确的需求,但很多情况下,需求方往往只给出了模糊范围或者方向,需要操作者通过一定的思考过程来完成报表。这时就是前文所提到的OLAP匹配的场景,操作者通过拖拽、钻取等操作,首先要了解都有什么数据,然后再理解其中数据的相关性,最后完成一份图表的设计。
需求四:编制报告
无论是需求清晰的报表需求,还是从探索分析而确定的分析图表,30%的操作者会选择用仪表盘进行综合的展现,也会有20%将其用到企业月度、年度的分析报告(Word/PPT)当中。其中分析报告的制作过程都是操作者最为苦恼的经历(没有例外)。
需求五:发布
最后,无论你做的图表、仪表盘还是分析报告,50%会用于发布给需求方,比如通过PC浏览器、大屏幕或者APP。尤其越有价值的数据分析结果,越会被发布出来。
因此,快而有效的交付,就是无论谁操作软件,都能非常简单顺利的实现如上5个需求,就是对敏捷BI最重要的实现。
2. 快而有效的部署
规模以上企业、政府往往都已经构建了基于标准技术的数据平台,比如MPP数据仓库或者Hadoop/Spark等环境,为大数据的存储和计算提供了基础保障。敏捷BI应当能够复用这些资源,毕竟分析数据不是每个人都需要操作的,不用考虑“大并发”的应用场景(一般不会超过100人)。
与此同时,以各种形式做中间单点存储的架构(比如一些MOLAP产品)将不再必要,刨除微软相关产品,敏捷BI都应该是2台应用服务器集群就能够满足要求,并可以与用户自身的系统进行完美的集成。
3. 快而有效的变更
一次性的部署或者交付即便再复杂,如果没有后期的变更,那么大家也都不会关注。但事实是敏捷BI就是一个不断迭代、优化、变更的过程,因此以下几类变更都需要被考虑:
■ 展现结果的变更(组合形式或图形的变化,代价最小的变更)
■ 需要更多的数据(能够快速找到以前的数据从哪里来)
■ 源于数据源的被动变更(上游变更传递过来后,需要评估其影响范围)
4. 快而有效的查询
性能,尤其是在大数据下的查询性能,是所有用户最为关心的维度。用户操作的结果能否快速返回,决定了其分析思维能否连贯的进行下去,更决定了试误操作的成本代价。
但其实性能解决方案,应当是整体技术架构的考虑,而不应该被认为是前端分析软件自身的责任。这好比买车上路,能开多少速度,一方面是车的性能,但更重要的是路况及限速要求!
敏捷BI不应依赖自身构建数据计算能力,比如内存计算或者定制Hadoop,如果这样做,首先违背了第二条本质(快而有效的部署),同时也给自己适应大数据分析埋下了地雷,因为不可能在相对合理的成本下把大数据全部复制到内存或者文件系统当中。这点已经可以从国外知名产品得到证实。
四. 敏捷商业智能的意义
通过部署“自助取数与分析平台”,客户获得的真正价值包括:
■ 数据产生于业务部门,现在也可以回归于业务部门进行分析利用,从而实现信息化的真正闭环,推动数据质量、数据完整性的建设;
■ IT部门更加专注于技术的创新与应用,比如引进Kylin等大数据分析平台,也可以更加投入在元数据的维护与管理上,提升分析平台的服务效率;
■ 对于个人来说,业务部门的分析人员学习到了更多的工具,而技术人员也因为掌握数据知识而转型为业务分析师的机会。这样的人员内部流动对企业来说更是释放了潜在的内部生产力;
■ 对企业来说,数据不再是搁置在硬盘上的1-0,而是能够驱动全面决策的数据资产,从这样的结果来说,IT部门因此能够得到更充足的资金预算;
■ 对实施来说,漫长的交付周期能够缩短50%,主要精力放在数据模型、安全体系、元数据服务等基础工作上就可以了;
五. 敏捷商业智能的延伸
从前文可以看出,敏捷BI以“快而有效”的交付、查询、部署、变更解决了业务与技术长期的矛盾,为数据市场带来了新的活力,未来我们也会不断增强自助分析的功能。但我们也要冷静思考:
■ 你所在的企业业务人员是否有时间精力和足够能力去学习新工具的使用?
■ 你所在的企业技术人员是否有能力提供有效的平台运营和支持服务?
■ 敏捷BI和过去二十五年一样,无法替代Excel,这是为什么?
■ 敏捷BI和过去二十五年一样,只能通过Ctrl+C/V才能进入Word/PPT当中,而这“交付的最后一步”却是每个领导真正才会看到的数据分析!
■ 敏捷BI似乎没有改变数据(无论图表)的堆砌,用户很难为其增加辅助性的说明文字,加入自己的观点!
这些问题 Smartbi 一直在思考,也在努力探索,无论这些新概念如何炒作,客户对于数据分析的需求到底是什么?什么样的工具才能获得永恒?
如果你也有类似的困惑,请给我们的另一产品(Smartbi 电子表格版)提供反馈,它让你可以直接在亲切的Excel、Word、PPT里面完成取数、制表(做图)、分析、报告和发布,通过2014年以来的推广和应用,我们觉得“”也能适合白领大众!
Smartbi,专注于商业智能(BI)、数据分析软件产品与服务。
(全文完,敬请关注天善智能,关注 Smartbi 博客专栏,点击阅读全文访问了解更多有关Smartbi 的内容)
其它相关与 Smartbi 相关的视频课程分享请访问 edu.hellobi.com
天善智能 www.hellobi.com 是一个专注于商业智能BI、数据分析、数据挖掘和大数据技术的垂直社区平台(国内唯一的数据类技术问答社区、博客、在线学院)。
天善智能拥有国内最大的数据领域社群组织,每周五晚上 8:30 Friday BI Fly 30+ 微信群同步直播行业和大数据技术交流。
Saturday BI Fly 北上广深以及全国其它各个城市 200-500人规模的大数据沙龙活动。